Như điều cô vẫn thường làm với các bản thu âm của mình, Lily Allen đăng bản demo bài hát này lên trang Myspace cá nhân vào năm 2008, dưới tên gọi "Guess Who Batman", cùng với hai ca khúc khác là "I Could Say" và "I Don't Know" ("I Don't Know" sau này là "The Fear"). Bài hát được sáng tác bởi Allen và Greg Kustin. Trước khi có mặt chính thức trong album, ca khúc này đã được thay đổi tên vài lần, bao gồm "Get With the Brogram" và "GWB", tất cả đều có những chữ cái đầu tiên là trùng với tên cựu tổng thống Mỹ George W. Bush. Vì thế, theo tạp chí NME và Rolling Stone, bài hát là sự phản đối của Allen đối với ông.[5][6]

Trong khi đó, tờ Urban Review nói rằng ca khúc lấy cảm hứng từ phe hữu Đảng quốc gia Anh. Nguồn dẫn nói rằng Allen có chủ ý khi sáng tác bài hát này, nhưng cảm thấy bài hát đang liên quan đến nhiều vấn đề khác nhau nên sau này cô không còn nhắm vào một mục tiêu cụ thể nữa.[7] Tại Glastonbury Festival 2009, Allen trước khi biểu diễn bài hát này đã nhắc đến sự kiện bầu cử nghị viện châu Âu diễn ra 3 tuần trước đó, trong đó Đảng quốc gia Anh đã có được một ghế đại diện đầu tiên của mình, nói rằng đây là lý do cô hát bài hát này.[7]